创新探求,快手敢想敢为
这世界有多少伟大,创新不过是探索拼多多助力网站始于先驱者不断的“创造奇迹”,这世界又有多少企业,敢想敢为革在不断地推动着科技的引领业变改革?时代的演进就是始于这些勇于尝试的人,不断地探求未知、短视付诸行动,频产为了即将发生的快手未知和期望而探求。
如果说,创新敢想、探索敢为,敢想敢为革加速了科技的引领业变改变。那么,短视每一个产业的频产发展过程就是一个不断融合创新的过程。在“互联网+”浪潮风靡全球之时,快手“短视频”成为了一个新产业名词,快手,无疑是拼多多助力网站这一产业链龙头企业之一,借助互联网+AI估算力量,快手终于迎来了产业爆发期,日活超过2亿的用户数,每天破千亿的短视频曝光量,日平均视频播放量超过200亿次,无一不挑战着快手的IT系统算力、性能和容量能力,令人兴奋的是,快手用技术的力量,顶住了这样的爆发,带给粉丝顺畅平滑的体验,在快手看来,在竞争激烈的市场中获得更高市场份额的重要技术投资,必须要拥有一套高性能,可靠安全的解决方案。而利用英特尔技术,让快手实现了IT系统的平滑升级。
满足智能、性能、成本需求 一个都不能少!
简单剖析快手目前高速扩容的承载粉丝和业务增长量,不难理解,快手核心业务,目前碰到困难也正是其数据中心面临的最大挑战,那便是显存存储量、数据中心系统的性能以及高智能的管理性上。
正如快手系统营运部某工程师介绍的那样,面对快速下降的市场容量,公司数据中心系统规模也越发庞大,其中,承载服务器规模超过10万,数据量达到EB级。面对,如此庞大的系统,快手数据中心,迎来了性能、硬件成本和管理的挑战,快手希望找到一套以现有软硬件为基础,能够满足快手高性能业务需求、高性价比、高智能管理三方面需求的组合型解决方案。”
正是出于这样的考虑,快手决定进行一次智能应用系统解决方案的设计,这套方案,一方面是基于异构设备先进推荐系统,期望在承载高峰期每秒数十万并发调用量的同时,从上百亿级别的短视频库中,通过千亿参数级别的深度模型将内容诠释给用户,并基于推荐系统高可用的基础上,实时、高效、精准地向用户推荐优质内容。
另一方面,考虑到要保障用户在使用评论系统和发布弹幕内容时的顺畅感,增强浏览过程的互动性实际现况,快手将频繁读写、对延后要求较高的场景,以及敏感的业务都置于自己塑造的基于显存的快速数据库Redis上。
不难理解,快手期望通过IT基础设施层面的构架设计,应对系统压力,优化用户体验。而才能促使这一先进的设计方案得以顺利实现的“内核”便是——英特尔傲腾TM数据中心级持久显存。
英特尔傲腾TM数据中心级持久显存是用于加速以数据为中心的应用程序,在建立系统的过程中,快手在提高推荐系统的准确性上仍然有着很高的要求:包括新的模型算法、新的体系构架。傲腾持久显存可以直接从硬件层面上解决大数据量实时在线模型训练的问题。最重要的是,英特尔提供了惟一具备“内置人工智能加速”能力的CPU,MKL-DNN库和人工智能框架优化方案。
也就是说,傲腾持久显存可以帮助快手实现单机大数据、大估算量的工作承载,实际上,搭载了英特尔傲腾TM数据中心级持久显存的异构储存,在Redis和推荐系统实际应用中,工程师们发觉:作为一种全新的高性能非易失性储存,英特尔傲腾持久显存除了能提供接近传统显存的读写延后,其DIMM形态产品更可以用相对低廉的成本急剧提高系统内存容量。
应用了傲腾持久显存以后,快手的系统确实得到了更智能更高效的性能提高,例如,在服务器死机、出故障时,传统系统恢复须要几小时,但,现在几分钟即可让系统恢复正常使用,使车祸处理速率提高百倍,简化了运维的工作流程和时间。最重要的是,总TCO的提高,相对之前的系统架构快手怎么买播放量,快手应用傲腾持久显存以后,总TCO提高了30%的利润。
服务+技术叠加信赖 双赢就是如此简单!
从实际应用上看,快手选择英特尔作为核心业务异构储存方案的合作伙伴是成功的,但这样的大胆合作,并不是一蹴而就。早在2017年初,快手用户量步入大规模下降阶段早期,快手便开始同英特尔紧密合作,其业务、系统和硬件方面也急剧步入大规模扩容阶段。也可以说,2017年,是快手与英特尔合作加深的元年,这里的“深”并不单纯指技术,技术上的配合肯定是快手同英特尔合作的基石快手怎么买播放量,但良性合作的开始,一定是始于技术背后的服务。
据了解,快手和英特尔的合作关系,并不只基于简单的订购,某种意义上而言,快手的个性化需求,加深了双方在技术层的深入合作,例如,在用DRAM和傲腾显存建立的KV内存池方案中,快手增加了一个MemPool组件来做进一步的分层,让MemPool来决定把数据放到DRAM还是傲腾显存里,比如神经网路就被放在DRAM里来提升性能,这跟所有分层的目的一致,也都是为了提高性能和效率。英特尔方面为了才能及时响应快手业务上的需求,也提供了很大的支持,包括,在任何时刻为最终用户提供软件优化的能力。英特尔为快手提供了好多解决方案,包括广泛应用的CPU和SSD储存;性能剖析软件和大数据加速软件
这些对快手的三大系统,推荐、画面转码、大数据储存从质量和效率层面都带来很大的提高。显然,“英特尔为顾客提供价钱、性能、功能和功率方面最广泛的SKU选择,以满足每位顾客的独特性和不断变化的需求。”的服务优势彰显的在快手的项目中彰显得淋漓尽致。
据悉,下一步,快手和英特尔正持续建立从硬件到软件的深度合作,联合开发FPGA,英特尔也正在使用Parallel Studio开发套件为快手进行软件优化。未来,通过OpenVINO和ISAL双方还将在深度学习和大数据底层读写性能加速方面进行深入合作。
(责任编辑:百科)